VMdeploy: Improving Best-Effort Job Management in Grid’5000

Virtualization technologies have recently gained a lot of interest in Grid computing as they allow exible resource management. Grid'5000 (G5K) is a French national Grid platform used for computer science research to experiment all layers of Grid software. Computer scientists reserve G5K nodes prior to their experiments. In G5K some low priority jobs are executed in best e ort mode on the node idle time slots when the latter are not part of any reservation. However, best-e ort jobs may be killed at any time by the Grid job scheduler when the nodes they use are subject to higher priority reservation. This behaviour potentially leads to a huge waste of compute time or at least requires users to deal with checkpoints of their best-e ort jobs. In this paper, we describe the design and implementation of the VMdeploy framework, which exploits virtual machines for executing best e ort jobs in order to solve the best-e ort issue in the G5K platform. VMdeploy manages snapshots of the best e ort jobs transparently to their users and thus ensures the progress of these jobs avoiding most of the waste of resources. Results of a preliminary experimental evaluation are presented. While designed in the context of G5K, VMdeploy can be used in combination of any job scheduler in clusters and grids. Key-words: Virtualization, Grid, Best E ort jobs, Scheduling, Resource Management. ∗ The INRIA team carries out this research work in the framework of the XtreemOS project partially funded by the European Commission under contract #FP6-033576. † INRIA Rennes Bretagne Atlantique, Rennes France [email protected] ‡ EMN, France [email protected] in ria -0 03 46 74 0, v er si on 3 6 Ju l 2 00 9 VMdeploy: Comment améliorer la gestion des travaux de type "best-e ort" dans Grid'5000. Résumé : Les technologies de virtualisation ont récemment eu un gain d'intérêt dans le domaine de la Grille et cela est dû principalement au fait qu'elles permettent une plus grande exibilité dans la gestion des ressources. Grid'5000 (G5K) est une Grille nationale Française utilisée pour des expérimentations scienti ques à grande échelle. Pour pouvoir réaliser leurs expérimentations, les utilisateurs de G5K doivent réserver leurs n÷uds. Dans G5K, des travaux de faible priorité ("best-e ort" faire au mieux) sont exécutés sur des n÷uds disponibles, c'est-à-dire, ne faisant parti d'aucune réservation. Ces travaux de type "best-e ort" peuvent être retirés des n÷uds à tout moment par l'ordonnanceur de la Grille quand des travaux de priorité supérieure sont soumis. Ce comportement conduit potentiellement à des pertes de temps de calcul, ou, contraint les utilisateurs à mettre en place des méthodes de sauvegarde/restauration de point de reprise de leurs travaux "best-e ort". Dans ce document, nous décrivons l'architecture ainsi que l'implémentation de VMdeploy, notre prototype. VMdeploy exploite les fonctionnalités des machines virtuelles (VM) pour exécuter des travaux de type "best-e ort" a n d'optimiser leur gestion. VMdeploy gère la création ainsi que le déplacement et la suspension/redémarrage des VM de manière transparente pour les utilisateurs a n de réduire au mieux la perte de temps de calcul. Les premières expérimentations que nous présentons se montrent concluantes. En n, bien qu'il ait été conçu dans le contexte de G5K, VMdeploy peut être utilisé avec n'importe quel ordonnanceur de grappe ou grille. Mots-clés : Virtualisation, Grille, Travaux de type "best-e ort", Ordonnancement, Gestion des ressources. in ria -0 03 46 74 0, v er si on 3 6 Ju l 2 00 9 VMdeploy: Improving Best-E ort Job Management in Grid'5000 3